HDFS (Hadoop Distributed File System) হলো Hadoop ইকোসিস্টেমের একটি গুরুত্বপূর্ণ উপাদান, যা ডেটাকে ডিসট্রিবিউটেড ফরম্যাটে সঞ্চয় করে। যখন আপনি Hive ব্যবহার করে বড় ডেটাসেট প্রক্রিয়া করেন, তখন সেই ডেটা HDFS-এ সংরক্ষিত হয়। HDFS Snapshot একটি শক্তিশালী টুল, যা আপনাকে HDFS-এর ডেটার point-in-time ছবি (snapshot) তৈরি করতে সহায়তা করে। এই ছবি ব্যবহার করে আপনি ডেটার ব্যাকআপ রাখতে পারেন এবং প্রয়োজন পড়লে সেগুলি পুনরুদ্ধার করতে পারবেন।
HDFS Snapshot কি?
HDFS Snapshot HDFS-এর একটি ফিচার যা নির্দিষ্ট সময়ের মধ্যে ডেটার একটি সুনির্দিষ্ট অবস্থান (state) বা ছবি ধারণ করে। এটি মূলত একটি রিড-অনলি কপি, যা ডেটার বর্তমান অবস্থাকে এক মুহূর্তে লক করে রাখে। এই snapshot-এর মাধ্যমে আপনি ডেটার কোনো পরিবর্তন ছাড়াই পূর্ববর্তী অবস্থায় ফিরে যেতে পারেন, যা ব্যাকআপ এবং রিকভারি ব্যবস্থার জন্য অত্যন্ত উপকারী।
HDFS Snapshot আপনাকে ডেটার ব্যাকআপ নিতে এবং এর পুনরুদ্ধার করতে সহায়তা করে, বিশেষ করে Hive-এ বিশাল পরিমাণ ডেটা প্রক্রিয়াকরণ এবং বিশ্লেষণ করার সময়। একটি snapshot তৈরি করা হলে, HDFS স্বয়ংক্রিয়ভাবে মূল ডেটার পরিবর্তনসমূহ ট্র্যাক করে এবং সেগুলি সংরক্ষণ করে না। এতে ব্যাকআপ প্রক্রিয়া দ্রুত হয় এবং অতিরিক্ত স্টোরেজের প্রয়োজন হয় না।
HDFS Snapshot তৈরি এবং ব্যবহারের প্রক্রিয়া
১. Snapshot তৈরি করা
HDFS Snapshot তৈরি করতে প্রথমে আপনাকে HDFS ফাইল সিস্টেমের একটি ডিরেক্টরি নির্বাচন করতে হবে। এরপর, একটি snapshot তৈরি করার জন্য hdfs dfs কমান্ড ব্যবহার করা হয়।
Snapshot তৈরি করার উদাহরণ:
hdfs dfs -createSnapshot /user/hive/warehouse hdfs_snapshot_01
এখানে:
/user/hive/warehouse: Hive ডেটা যেখানে সংরক্ষিত থাকে।hdfs_snapshot_01: snapshot-এর নাম।
২. Snapshot List করা
একবার snapshot তৈরি হলে, আপনি HDFS-এর মধ্যে সমস্ত snapshot দেখতে পারেন। এটি করতে নিচের কমান্ড ব্যবহার করুন।
hdfs dfs -lsSnapShot /user/hive/warehouse
এটি /user/hive/warehouse ডিরেক্টরির সমস্ত snapshot-এর তালিকা দেখাবে।
৩. Snapshot থেকে Data Recovery করা
আপনি যদি পূর্ববর্তী snapshot থেকে ডেটা পুনরুদ্ধার করতে চান, তবে হঠাৎ কোনো সমস্যা বা ভুল পরিবর্তনের কারণে, আপনি restore অপারেশন ব্যবহার করতে পারেন। এই কমান্ডের মাধ্যমে আপনি ডেটার পূর্ববর্তী অবস্থায় ফিরে যেতে পারবেন।
Snapshot থেকে Data Recovery এর উদাহরণ:
hdfs dfs -restoreSnapshot /user/hive/warehouse hdfs_snapshot_01
এটি hdfs_snapshot_01 নামক snapshot থেকে ডেটা পুনরুদ্ধার করবে।
৪. Snapshot Delete করা
একটি snapshot যদি আর প্রয়োজন না থাকে, তবে আপনি এটি HDFS থেকে মুছে ফেলতে পারেন।
Snapshot মুছে ফেলার উদাহরণ:
hdfs dfs -deleteSnapshot /user/hive/warehouse hdfs_snapshot_01
এই কমান্ডটি hdfs_snapshot_01 snapshot মুছে ফেলবে।
HDFS Snapshot-এর সুবিধা
- কমপ্যাক্ট ব্যাকআপ: HDFS snapshot খুবই কম স্টোরেজ ব্যবহার করে ডেটার ব্যাকআপ তৈরি করে। এটি মূল ডেটার পরিবর্তনসমূহ সংরক্ষণ না করে শুধু ডেটার অবস্থান (state) ট্র্যাক করে।
- ডেটার দ্রুত পুনরুদ্ধার: কোনো প্রকার পরিবর্তন ছাড়াই snapshot-এর মাধ্যমে ডেটার আগের অবস্থানে দ্রুত ফিরে আসা সম্ভব।
- ডেটার নিরাপত্তা: Snapshot একটি রিড-অনলি কপি তৈরি করে, যার ফলে কোনো প্রকার পরিবর্তন না হওয়া নিশ্চিত হয়।
- সক্ষমতা ও স্থিতিশীলতা: Hive ব্যবহারকারীদের জন্য HDFS Snapshot একটি অত্যন্ত কার্যকরী টুল, যেটি বিশাল ডেটাসেটের ব্যাকআপ এবং পুনরুদ্ধার প্রক্রিয়া দ্রুত ও কার্যকরী করে।
HDFS Snapshot এর সীমাবদ্ধতা
- ফাইল সিস্টেমের ওপর নির্ভরশীলতা: Snapshot তৈরি করতে হলে HDFS ফাইল সিস্টেমের ডিরেক্টরি (directory) নির্বাচিত করতে হয়, যেটি অবশ্যই snapshot-able হতে হবে।
- স্টোরেজ ব্যবহার: যদিও snapshot প্রক্রিয়া কম স্টোরেজ ব্যবহার করে, তবে সিস্টেমের যেসব ফাইলের উপর খুব বেশি পরিবর্তন হয়, সেগুলির জন্য অতিরিক্ত স্টোরেজ প্রয়োজন হতে পারে।
- মেটাডেটা ট্র্যাকিং: Snapshot তৈরি করার পর, HDFS কেবলমাত্র সেই ফাইলগুলির পরিবর্তন ট্র্যাক করে, যা নতুনভাবে পরিবর্তিত হয়েছে। অতএব, ফাইলের মধ্যে থাকা কিছু অতিরিক্ত পরিবর্তন বা ফাইল ডিলিট হলে সেগুলি snapshot এ অন্তর্ভুক্ত হবে না।
Hive Data Backup এবং HDFS Snapshot
Hive-এ ডেটা ব্যাকআপ নিতে HDFS Snapshot ব্যবহার করা একটি খুবই কার্যকরী পদ্ধতি, বিশেষ করে যখন আপনি Hive-এ বিশাল ডেটাসেট নিয়ে কাজ করছেন। Hive টেবিলের ডেটা HDFS-এ সংরক্ষিত থাকে, সুতরাং HDFS Snapshot ব্যবহার করে আপনি সহজেই Hive টেবিলের ডেটার ব্যাকআপ তৈরি এবং পুনরুদ্ধার করতে পারবেন। এতে ডেটার নিরাপত্তা নিশ্চিত হয় এবং সিস্টেমের অবস্থা পূর্বের অবস্থায় ফিরিয়ে আনা যায়।
উপসংহার
HDFS Snapshot একটি শক্তিশালী টুল যা Hive-এ সংরক্ষিত ডেটার ব্যাকআপ নেওয়া এবং পুনরুদ্ধার করার জন্য ব্যবহৃত হয়। এটি ডেটার একটি নির্দিষ্ট point-in-time ছবি তৈরি করে, যা ডেটার স্থিতিশীলতা এবং অখণ্ডতা নিশ্চিত করে। Hive-এ ডেটার জন্য HDFS Snapshot ব্যবহারে ব্যাকআপ প্রক্রিয়া দ্রুত, কার্যকরী এবং কম স্টোরেজের প্রয়োজনীয়তার সঙ্গে সম্পন্ন হয়, যা ডেটা রিকভারি ও সুরক্ষায় গুরুত্বপূর্ণ ভূমিকা রাখে।
Read more
